= = Assim, o valor estimado de p será ˆp= x m =

Transcrição

1 INSTITUTO SUPERIOR DE AGRONOMIA ESTATÍSTICA E DELINEAMENTO 19 de Janeiro, 2016 SEGUNDO EXAME Uma resolução possível I As distribuições Binomiais surgem associadas a variáveis aleatórias X que contam o número de êxitos em provas de Bernoulli. Recorde-se que provas de Bernoulli são experiências aleatórias com apenas dois possíveis resultados, que convencionamos chamar êxitos e fracassos, que se repetem de forma independente e em condições equivalentes, de tal forma que a probabilidade de um êxito seja igual em todas as provas. No nosso contexto, surge de forma natural a sugestão de uma distribuição Binomial para a variável aleatória X que conta o número de não enraizamentos (que, paradoxalmente, podemos chamar êxitos) em cada contentor, e da qual temos N = 164 observações. A validade da distribuição Binomial pressupõe a independência das contagens e a equivalência das condições em cada contentor. 1. Uma distribuição Binomial tem dois parâmetros: m, que indica o número total de provas de Bernoulli em relação à qual se faz a contagem; e p, a probabilidade de êxito em cada prova individual de Bernoulli. No nosso contexto, o valor m = 10 do primeiro parâmetro é determinado pela própria natureza do problema, já que X conta o número de êxitos em cada contentor, tendo cada contentor 10 plantas. Já o valor do segundo parâmetro, p, não é previamente especificado, tornando-se necessário estimá-lo a partir dos dados. A forma usual de fazer essa estimação baseia-se no facto de que se X B(m, p), então o seu valor esperado será E[X] = mp, pelo que p = E[X] m. O valor esperado é desconhecido, mas pode ser estimado a partir da média amostral x, ou seja, do número médio de estacas não enrazaidas por contentor, observadas nos N =164 contentores estudados. Tendo por base a tabela do enunciado, tem-se: x = = = Assim, o valor estimado de p será ˆp= x m = = A validade da distribuição assintótica da estatística de Pearson, nos teste χ 2, está associada aos critérios de Cochran, que exige que em nenhuma classe de valores haja menos de 1 contagem esperada, e que em não mais de 20% das classes haja menos de 5 contagens esperadas. Ora, se fossem usadas as classes de valores individuais constantes da tabela, o número esperado de ( observações correspondente a cada possível resultado seria dado por Êi =N P[X =i]=n m i )ˆp i (1 ˆp) m i (para i = 0,1,2,...,10). Para simplificar as contas, nesta alínea será usado o valor aproximado da estimativa de p indicado no enunciado (ˆp = 0.2), em vez do valor mais preciso calculado na alínea anterior. Assim, por exemplo, ao resultado X = 10 corresponderia o valor esperado estimado Ê10=164 1 (0.2) , ou seja, Ê 10 = Será, pois, necessário agrupar classes de resultados, a fim de respeitar os critérios de Cochran. O agrupamento sugerido no enunciado consiste em criar uma nova classe para resultados X 5. Nessa nova classe agrupada, o valor esperado estimado será Ê5+ = N P[X 5]. Para calcular a probabilidade, recorre-se à tabela da distribuição cumulativa duma Binomial de parâmetros m = 10 e p = 0.2, obtendo-se: P[X 5] = 1 P[X 4] = = Logo, Ê 5+ = = Este valor, superior a 5, é o mais pequeno de todos os valores esperados estimados, uma vez que está associado à mais baixa probabilidade de ocorrência, 1

2 como se comprova olhando rapidamente para a tabela da Binomial. De facto, as probabilidades associadas aos valores individuais X =i (i=0,1,2,3,4) são todas maiores que , sendo a mais baixa P[X = 4] = P[X 4] P[X 3]= = Logo, é respeitado o critério de Cochran. 3. Hipóteses: H 0 : X B(10, ) vs. H 1 : X B(10, ). Estatística do Teste: A estatística de Pearson é dada por X 2 = k (O i Êi) 2 Ê i, sendo k=6 (após o agrupamento de classes), O i o número de observações na classe i e Êi o correspondente valor esperado estimado ao abrigo de H 0. A distribuição assintótica desta estatística, caso seja verdade H 0, é χ 2 k r 1 sendo r = 1 o número de parâmetros da distribuição que foi necessário estimar (o parâmetro p). Logo, a distribuição assintótica é χ 2 4. Nível de significância: α = P[ Erro do tipo I ] = P[ Rej. H 0 H 0 verdade ] = 0.05 Região Crítica: (Unilateral direita) Rejeitar H 0 se χ 2 calc > χ2 0.05(4) = Conclusões: Como χ 2 calc = > , rejeita-se a hipótese nula de X seguir uma distribuição Binomial, com parâmetros m = 10 e ˆp = Tendo sido usados os valores de parâmetros duma Binomial mais adequados a este conjunto de dados (sendo p estimado a partir dos dados), esta conclusão aponta para a rejeição duma distribuição Binomial como a distribuição subjacente à variável de contagem X. 4. Pede-se o valor, na estatística do teste, da parcela correspondente a 3 estacas não enraizadas (que corresponde à classe i=4). Essa parcela é dada por (O 4 Ê 4 ) 2, sendo Ê4=N P[X =3]. Pode aproximar-se o valor de P[X =3] com recurso às tabelas da Binomial (usando o valor ˆp=0.2 sugerido no enunciado), obtendo-se Ê4=N (P[X 3] P[X 2])=164 ( )= Assim, a parcela pedida terá valor (aproximado) (O 4 Ê 4 ) 2 Ê 4 Ê 4 = ( ) = Tratase de cerca de um quinto do valor final da estatística de teste, mas a contribuição desta parcela não seria, por si só, suficiente para rejeitar a hipótese de distribuição Binomial. II 1. A qualidade de ajustamento do modelo pode ser avaliada pelo coeficiente de determinação, que no nosso caso, é bastante modesto: R 2 = Assim, este modelo apenas explica pouco mais de 58% da variabilidade observada nos teores de antocianas. No entanto, este valor de R 2 é significativamente diferente de zero, como se comprova através dum teste de ajustamento global do modelo: Hipóteses: H 0 : R 2 = 0 vs. H 1 : R 2 > 0. Estatística do Teste: F = n (p+1) R 2 p F 1 R 2 [p,n (p+1)], sendo H 0 verdade. Nível de significância: α = P[ Erro do tipo I ] = P[ Rej. H 0 H 0 verdade ] = Região Crítica: (Unilateral direita) Rejeitar H 0 se F calc > f α(5,34) que, pelas tabelas, corresppnde a um valor entre 2.53 e Conclusões: O valor F calc =9.551, dado no enunciado, pertence à região crítica, pelo que se rejeita H 0, ou seja, tratando-se dum modelo que deixa a desejar, é no entanto um modelo significativamente diferente do modelo nulo, pelo que os preditores do modelo explicam alguma da variabilidade do teor de antocianas. 2

3 2. O coeficiente de determinação modificado tem neste exemplo o valor Rmod 2 = A definição deste coeficiente modificado é dada no formulário: Rmod 2 QMRE =1 QMT. Como se viu nas aulas, e se pode concluir a partir das definições dos dois Quadrados Médios referidos, tem-se Rmod 2 = 1 n 1 SQRE n (p+1) SQT = 1 n 1 n (p+1) (1 R2 ) (onde R 2 indica o coeficiente de determinação usual). Assim, Rmod 2 multiplica a proporção da variabilidade da variável resposta que não é explicada pelo modelo, 1 R 2 n 1, pelo factor n (p+1) que, sendo sempre maior do que 1, será tanto maior quanto menor fôr a diferença entre a informação usada para ajustar o modelo (reflectida na dimensão n da amostra) e a complexidade do modelo (expressa pelo número de parâmetros do modelo, p+1). No nosso caso, tem-se n = 40 e p+1 = 6, pelo que a referida diferença não é nem muito grande, nem muito pequena. No entanto, a modesta qualidade do modelo (R 2 =0.5841) implica que o factor n 1 n (p+1) = = vai incidir sobre uma proporção relativamente grande de variabilidade não explicada (1 R 2 =0.4159), penalizando esta proporção com um aumento de cerca de 15%. Assim se explica a diferença visível no valor de Rmod 2, quando comparado com o coeficiente de determinação usual. 3. A contribuição da variável ph para a previsão do teor de antocianas é traduzida pela parcela que lhe corresponde no modelo de regressão linear múltipla, ou seja, pela parcela β 4 ph. Se β 4 =0, esta parcela em nada contribui para a estimação do teor de antocianas (independentemente do valor de ph). Logo, a veracidade da afirmação está associada ao facto de ser, ou não, admissível esse valor de β 4. Não é possível dar uma resposta apenas olhando para a magnitude da estimativa de β 4, ou seja, para o valor b 4 = (esse valor depende também das unidades de medida das observações). É necessário ter também em conta a variabilidade associada a essa estimação, que é transmitida pelo erro padrão associado. O enunciado pede para responder através dum intervalo de confiança paraβ 4, que usa essa informação. A expressão genérica para esse IC a(1 α) 100% é: ]b 4 t α/2(n (p+1)) ˆσˆβ4, b 4 t α/2(n (p+1)) ˆσˆβ4 [. Tem-se b 4 = , t 0.025(34) 2.03 e ˆσˆβ4 = , pelo que o IC a 95% de confiança é ] , [. Trata-se dum intervalo de grande amplitude, que inclui o valor zero. Assim, não é possível sustentar a afirmação do enunciado. 4. (a) A variável excluída no primeiro passo do algoritmo de exclusão sequencial foi a variável rend, uma vez que o valor de prova (p= ) no teste a que o respectivo coeficiente β 1 seja nulo é claramente superior aos níveis de significância usuais e é o mais elevado entre todos os preditores. Por outras palavras, entre todas as variáveis preditoras, rend é aquela em que se está mais longe de rejeitar a hipótese nula β j =0. A variável excluída no segundo passo do algoritmo tem de ser a variável ph, uma vez que é a outra variável do modelo original que não figura no submodelo, mas não era possível garantir esse facto apenas com base no ajustamento do modelo completo. (b) O valor de QMRE no submodelo final (que tem k =3 preditores, a saber, brix, acidez e pesobago), pode ser calculado a partir do valor do Critério de Informação de Akaike (AIC) desse submodelo, que pelo enunciado é AIC = Ora, pelo formulário tem-se que, num submodelo com k preditores, AIC=n ln( SQREk n ne AIC 2(k+1) n ) +2(k+1). Assim, SQRE k = = , pelo que QMRE k = /36 = O valor estimado da variância dos erros aleatórios no modelo original é o QM RE desse modelo completo, que pelo enunciado do ajustamento do modelo completo é QMRE p =(13.83) 2 = Assim, e apesar de no submodelo o valor de SQRE ser (necessariamente) maior, a redução simultânea do número de preditores permitiu que o respectivo QMRE seja menor do que no modelo completo. 5. Considerando agora apenas regressões lineares simples. 3

4 (a) A melhor variável preditora será a variável mais fortemente correlacionada com a variável resposta antocianas. Pela matriz de correlações (dada no enunciado) verifica-se que esse melhor preditor é a variável brix, cuja correlação com as antocianas é r = Sabemos que, numa regressão linear simples, o coeficiente de determinação R 2 é o quadrado do coeficiente de correlação entre preditor e variável resposta, pelo quer 2 =(0.561) 2 = Assim, esta melhor regressão linear simples apenas explica cerca de 31,5% da variabilidade observada no teor das antocianas, um valor que é muito baixo. Este valor nunca poderia ser maior que o R 2 do modelo completo (uma vez que é um submodelo desse modelo com cinco preditores), mas ainda se perde bastante capacidade explicativa em relação ao já baixo valor de R 2 do modelo completo. (b) Independentemente da fraca capacidade explicativa do modelo de regressão linear simples, é possível ajustar a respectiva recta de regressão de teor de antocianas (y) sobre teor brix s (x), que sabemos ter equação y = b 0 +b 1 x, com b 1 =r y xy s x =(0.561) = , e b 0 =y b 1 x= = (sendo dadas no enunciado as médias e desvios padrão das duas variáveis do modelo). Ou seja, a equação da recta ajustada é y= x. (c) Sabemos (ver formulário) que o estimador ˆβ 1 do declive β 1 da recta de regressão considerada tem variância V[ˆβ 1 ] = σ2, e o respectivo erro padrão é a raíz quadrada deste valor. (n 1)s 2 x Tem-se n=40 e s 2 x =( )2 = O valor da variância σ 2 dos erros aleatórios é desconhecido, mas é estimado pelo Quadrado Médio Residual. Logo, podemos calcular a estimativa do erro padrão após calcularmos esse valor de QMRE. Pela definição de R 2 tem-se SQR=R 2 SQT, e como R 2 = e SQT =(n 1)s 2 y = 39 ( ) 2 = , vem SQR = Por outro lado, SQRE = SQRT SQR = = Assim, QMRE = SQRE n 2 = Logo, o erro padrão pedido é = ˆσˆβ = III 1. Trata-se dum delineamento a um único factor (as variedades de tomate), sendo a variável resposta Y a resistência da película (em gf ). Em cada um dos k = 6 níveis do factor há n c = 3 repetições (as parcelas). O número igual de repetições nas 6 situações experimentais significa que o delineamento é equilibrado. NOTA: Não faz sentido considerar parcelas como um segundo factor num delineamento factorial a dois factores, uma vez que as parcelas duma variedade nada têm em comum com as parcelas de outra variedade; considerar parcelas como um segundo factor, subordinado ao factor variedade, numa relação hierarquizada, é conceptualmente possível, mas nesse caso haveria uma única observação em cada uma das 18 situações experimentais (parcelas) e não seria possível ajustar um modelo ANOVA. O modelo ANOVA a um factor é: A resistência Y ij, na j-ésima parcela (j=1,2,3) associada à variedade i (,...,6), é dada por Y ij = µ 1 +α i +ǫ ij, i,j, sendo µ 1 o rendimento esperado da primeira variedade; α i o efeito (acréscimo à resistência) associado à variedade i (com a restrição α 1 = 0); e ǫ ij o erro aleatório da observação Y ij. Admite-se que os erros aleatórios são todos Normais, de média zero e variâncias homogéneas: ǫ ij N(0,σ 2 ), para qualquer i,j. 4

5 Admite-se que os erros aleatórios ǫ ij são independentes. 2. A tabela-resumo terá apenas duas linhas (além da linha correspondente aos Totais), associadas respectivamente aos efeitos do Factor e à variabilidade Residual. Sabemos que os graus de liberdade dos efeitos do factor sãok 1=5 e que os graus de liberdade residuais sãon k=18 6=12. Por outro lado, as fórmulas para as Somas de Quadrados neste mais simples de todos os modelos são dadas no enunciado. A Soma de Quadrados Residual é SQRE= k (n i 1)s 2 i e, tratando-se dum delineamento equilibrado com n c =3 tem-se, usando as variâncias amostrais de nível dadas no enunciado, SQRE=2 ( )= Também será possível calcular SQF a partir da fórmula do enunciado, uma vez que são disponibilizadas as médias amostrais de nível e globais. Mas a forma mais simples de obter esse valor vem da constatação de que, numa ANOVA a um factor, se tem SQF=SQT SQRE e também SQT =(n 1)s 2 y = = Logo, SQF= Dividindo estas Somas de Quadrados pelos graus de liberdade antes referidos obtêm-se os Quadrados Médios, e dividindo QMF por QMRE obtem-se o valor calculado da estatística do teste F aos efeitos do factor. Assim, a tabela-resumo é: g.l. SQs Quadrados Médios F calc Factor = F calc = QMF QMRE = Residual = Eis o teste aos efeitos do factor (variedade): Hipóteses: H 0 : α i = 0, i vs. H 1 : i tal que α i 0. Estatística do Teste: F = QMF QMRE F [k 1,n k], sob H 0. Nível de significância: α = Região Crítica: (Unilateral direita) Rejeitar H 0 se F calc > f 0.05(5,12) = = Conclusões: Como F calc = > 3.11, rejeita-se H 0, sendo possível concluir pela existência de efeitos de variedade (ao nível α = 0.05). No nosso contexto, tal corresponde a afirmar que existem variedades de tomate cujas películas têm resistência média diferentes de outras. 4. Para comparar médias de variedade iremos utilizar o teste de Tukey. Sabemos que podemos considerar diferentes duas médias populacionais de nível, µ i e µ i, caso as respectivas médias amostrais de nível difiram mais do que o termo de comparação do teste de Tukey, ou seja, se y i. y i. > q QMRE α(k,n k) n c, onde q α(k,n k) indica o valor que deixa à sua direita uma região de probabilidade α, na distribuição de Tukey com parâmetros k e n k. No nosso caso, k=6 e n k = 12, sendo, pelas tabelas da distribuição Tukey, q 0.05(6,12) = Como QMRE n c = = , podemos decretar a diferença significativa entre a média amostral das resistências da variedade40c, y 4. =705.8 (que é a maior de todas), e a de qualquer outra variedade cuja média difira desta em mais de = gf. Ora, = , e apenas a variedade 18 não tem média amostral inferior a esse valor. Logo, podemos concluir que as resistências médias das variedades 28, 29, Ace e Roma são diferentes (inferiores) à resistência média da variedade 40C. 5. O teste de Bartlett visa optar entre a hipótese nula da igualdade de variâncias populacionais nas diferentes situações experimentais do delineamento, que neste caso corresponde às diferentes 5

6 variedades de tomate (níveis do factor) e a hipótese alternativa de que existe pelo menos um par de níveis com variâncias populacionais da variável resposta diferentes. Mais concretamente, visa optar entre H 0 : σi 2 = σ2 i, para qualquer par de níveis i,i, e H 1 : i,i tal que σi 2 σ2 i. A estatística do teste K 2 (que consta do formulário, mas tem uma expressão complicada) segue uma distribuição assintótica χ 2 k 1, com uma região crítica unilateral direita. Assim, no nosso problema deve rejeitar-se a hipótese nula da igualdade das variâncias caso Kcalc 2 > χ2 0.05(5) = Ora, segundo a listagem no enunciado, Kcalc 2 = , pelo que se conclui pela rejeição de H 0, em favor de H 1 (ao nível α = 0.05). Note-se que esta última hipótese representaria uma violação do pressuposto dos modelos ANOVA de igualdade das variâncias populacionais de todas as observações. No entanto, cabe referir que a aplicação do teste de Bartlett a este problema é duvidosa, uma vez que, com apenas 3 repetições em cada nível do factor, a validade da distribuição assintótica da estatística do teste é questionável (recorde-se a nossa convenção de que se deve exigir pelo menos 5 repetições em cada nível do factor para admitir essa distribuição assintótica). 1. As três alíneas correspondem a mostrar que o estimador ˆβ 1 tem distribuição N IV ( ) σ β 1, 2. (n 1)s 2 x (a) Como se recorda no enunciado, o estimador ˆβ 1 = n c i Y i é uma combinação linear dos Y i, que de acordo com o modelo linear são variáveis aleatórias Normais e independentes. É sabido que qualquer combinação linear de Normais independentes tem distribuição Normal, pelo que o estimador ˆβ 1 tem uma distribuição dessa família. Nas alíneas seguintes calculamse os dois parâmetros dessa distribuição. [ n ] (b) Pela linearidade do valor esperado tem-se E[ˆβ 1 ] = E c i Y i = n c i E[Y i ]. Tendo em conta que E[Y i ]=β 0 +β 1 x i (ver enunciado), vem: n n n n n E[ˆβ 1 ] = c i (β 0 +β 1 x i ) = c i β 0 + c i β 1 x i = β 0 c i +β 1 c i x i = β 1, uma vez que n c i = n x i x = 1 (n 1)s 2 x (n 1)s 2 x }{{} =0 }{{} =1 n (x i x)=0, como se provou no Exercício 3a) da Regressão Linear Simples (sendo a igualdade n c i x i =1 dada no enunciado). (c) De forma análoga, mas tendo em conta as propriedades das variâncias, nomeadamente que constantes multiplicativas passam para fora, elevadas ao quadrado, e que a variância da soma de v.a.s independentes é a soma das respectivas variâncias, tem-se: [ n ] n V[ˆβ 1 ] = V c i Y i = c 2 i V[Y }{{} i] =σ 2 = σ 2 n = (x i x) 2 [(n 1)s 2 x] 2 = σ 2 [(n 1)s 2 x] 2 σ 2 [(n 1)s 2 x] 2 (n 1)s 2 x = 6 σ 2 (n 1)s 2 x n (x i x) 2 } {{ } =(n 1)s 2 x.

7 2. (a) A soma dos elementos dum qualquer vector x = (x 1,x 2,...,x n ) t obtém-se tomando o produto interno desse mesmo vector com o vector dos n uns: 1 t n x = n x i. Assim, a soma dos valores observados Y i é dada por 1 t n Y e a soma dos valores ajustados Ŷi é dada por 1 t n Ŷ=1 t n H Y= (H t 1 n ) t Y=(H1n ) t Y, já que a matriz de projecção ortogonal H é simétrica (H t =H). Mas H1 n =1 n, uma vez que o vector1 n pertence ao subespaçoc(x) sobre o qualhprojecta, logo permanece invariante sob o efeito dessa projecção. Assim, as somas de valores observados e ajustados de Y coincidem (1 t n Ŷ=1n Y), pelo que coincidem também as respectivas médias. (b) Tem-se Ŷ = H Y. Sabemos pelas propriedades da distribuição Multinormal que, sendo Y Multinormal, o produto H Y também o será (acetato 238, propriedade 7), sendo o seu vector médio dado por: E[ Ŷ] = E[H Y] = HE[ Y] = HXβ = Xβ, uma vez que, sendo H a matriz de projecção ortogonal sobre o espaço das colunas da matriz X, C(X), qualquer vector desse subespaço (como é Xβ) permanece invariante sob o efeito dessa projecção. Por outro lado, e tendo em conta as propriedades das matrizes de variâncias-covariâncias, a matriz de (co-)variâncias do vector Ŷ é dado por: t H =σ 2 I =H n V[ Ŷ] = V[HY] = HV[ Y] }{{} }{{} = σ 2 HH = σ 2 H, dada a idempotência de H (HH=H). Logo, Ŷ N(Xβ,σ 2 H). 7